面向 LLM Agent 的行为商流形 LoRA 低秩适配框架
🧭 LLM Agent 低秩适配优化
Alibaba Cloud
通过行为商流形平衡冗余更新并保持决策分布的低秩适配方法
📌 工作参考价值（4 点）
- 若业务中需要用 LoRA 微调多能力/多任务 LLM Agent，可考虑用单个 adapter 替代多 adapter 部署，以降低存储与路由开销；但需注意多样轨迹下的冗余更新与压缩失真问题。
- 从决策分布而非权重空间定义更新冗余：在电商/推荐场景微调多目标策略模型时，梯度方向可能在参数上不同但在输出分布上等价，可通过行为商流形上的局部密度对样本或轨迹重新加权，缓解对重复行为模式的过度拟合。
- DPC 的低秩压缩思路值得借鉴：在压缩策略模型或生成式推荐组件时，不应只最小化权重误差，还要约束决策分布失真，这对保持线上行为一致性很重要。
- 方法偏理论，实现复杂度较高；如果团队已有多 adapter LoRA 路由的工程基础，迁移价值有限，但 BQB 中“按行为分布密度加权更新”的思路相对轻量，可以局部尝试。
任务解耦 LoRA：统一框架下的多功能音视频多模态学习
🧭 多模态多任务学习 · 任务解耦 LoRA
用任务解耦 LoRA 在统一 LLM 框架中整合通用知识、任务特定模式与跨任务协作，缓解多任务干扰。
📌 工作参考价值（4 点）
- 在多目标/多场景推荐与搜索统一模型中，可借鉴“通用 LoRA 底座 + 任务调制矩阵”的架构：共享低秩空间保留通用表征，任务特定矩阵做轻量解耦，比完全共享或独立微调更抗干扰，也便于快速接入新任务。
- 跨任务协作专家通过可学习门控显式建模任务间相关性，适合电商 CTR、CVR、GMV 等多目标联合优化，减少负迁移；可优先对相关性强的任务组开启协作路径。
- 以 LLM/LoRA 参数高效适配多模态输入，适合商品图、文案、短视频素材统一编码；按任务插入不同调制层即可扩展类目识别、属性抽取、卖点生成等，不必为每个任务完整微调大模型。
- 若业务要建设多模态统一理解底座，可参考“模型侧与任务侧双重显式协作”思路，避免 naive joint training 带来的互相干扰。
面向生成式多任务推荐的双流层次查询交互建模
🧭 生成式多任务推荐 · 任务交互层次查询 ★ 深度解读
DreamX, Alibaba Group
通过双流解耦、自适应任务交互和层次查询机制，解决生成式多任务推荐的源坍塌、关系坍塌与层次坍塌，线下指标全面最优、线上UVCTR提升1.60%
📌 工作参考价值（4 点）
- 任务token与上下文token的解耦编码：将任务专属 learnable token 组成独立序列，使用独立参数的自注意力和交叉注意力，在编码早期注入任务信号，避免任务信息在共享流中被稀释，可迁移到多目标推荐场景。
- 自适应任务交互的因果掩码自注意力：在任务token流上加入因果约束的自注意力，自动学习任务间的输入依赖强度，替代预设漏斗结构，适合电商中搜索→点击→购买等多步依赖的动态建模。
- 层次查询选多尺度特征：每个任务通过可学习的深度注意力从不同层抽取信息，让细粒度检索（如 POI 预测）用浅层局部信号，粗粒度意图（如出行方式）用深层全局模式，可为多任务推荐中不同粒度的目标提供专用特征。
- 工业部署的离线–在线分离架构：用户历史序列离线预计算并存入 KV 存储，在线仅执行推理与最近邻检索，使模型在 30k QPS 下平均延时 40ms，适合大流量推荐系统的工程化落地。
SeerGuard：基于世界模型预测的移动GUI Agent安全框架
🧭 Agent安全框架 · 世界模型预测
JIUTIAN Research
通过预执行指令筛查与动作风险评估，结合多任务世界模型，显著提升GUI Agent的安全效用并降低风险成本
📌 工作参考价值（4 点）
- 在 Agent 流程中集成预执行动作风险评估模块，利用世界模型预测后续状态和风险，可拦截支付、删除等高风险操作，避免不可逆后果。
- 借鉴多任务学习构建安全增强世界模型（SAWM），同时优化语义下一状态预测与安全评分，提升风险评估的准确性和泛化性，可迁移至电商购物 Agent 的安全审核。
- 指令级高风险任务筛查作为第一道防线，快速拒绝“转账”“清空购物车”等敏感指令，降低系统整体风险暴露。
- 引入安全-效用得分（SUS）和风险成本得分（RCS），为 Agent 安全与性能的平衡提供可量化的评估指标，适用于推荐或对话 Agent 的安全测试。
更便宜更好：折扣感知网络用于电商推荐CVR预测
🧭 折扣感知CVR预测
DANet通过傅里叶频谱、分布去偏和回归辅助任务建模商品折扣率对转化率的影响，离线AUC提升1.61%。
📌 工作参考价值（4 点）
- 将折扣率作为显式特征引入CVR模型，并使用时频变换捕获长周期折扣趋势，可借鉴到价格敏感品类的推荐排序中。
- 分布去偏模块设计适用于电商大促、满减等场景，能缓解用户折扣偏好和周期性活动带来的偏差，可迁移至其他有偏差的用户行为建模（如优惠券使用）。
- 引入折扣率回归辅助任务，联合主CVR任务训练，能提升模型对折扣幅度的准确表达，可推广到其他数值敏感特征（如价格、评分）的多任务学习。
- 整体架构轻量，已线上部署，证明折扣感知信号在工业级推荐系统中切实有效，可作为转化率模型的通用增强模块。
深度学习因果检索优化：Pinterest高效电商分发触发策略
🧭 因果学习 · 检索触发策略优化 ★ 深度解读
Pinterest, Inc. · LinkedIn
将检索级触发决策建模为因果提升问题，利用随机化数据与双重稳健多任务学习，离线重放选择阈值，线上大幅缩减购物触发并提升整体参与度
📌 工作参考价值（4 点）
- 触发决策因果化：将“是否触发某类候选集”视为增量预估问题，而非相关性排序，可直接用于电商推荐中控制商品卡片、广告坑位的展示频次，避免过度分发损害用户体验。
- 反事实数据收集与DR训练：通过随机化Holdout流量获得无偏反事实数据，使用Doubly Robust伪结果训练uplift模型，配合多任务学习与事件级上采样，可复用到消息推送、广告投放等稀疏事件的触发决策中。
- 离线重放评估与阈值选择：基于随机化日志的线性时间复杂度重放算法，提供不同阈值下的业务指标曲线，与线上效果高度一致，无需频繁线上实验即可迭代策略，工程成本低。
- 解耦学习与决策：模型只学习潜在结果和提升信号，策略阈值通过离线重放选择，二者解耦，使产品侧可审计、可解释地调整触发力度，无需重新训练模型。
多任务学习的本质子空间合并
🧭 模型合并 · 本质子空间分解
利用任务更新的低维本质子空间，通过正交化融合和低秩专家路由实现训练无关的多任务模型合并
📌 工作参考价值（3 点）
- 主要是学术贡献，多任务模型合并目前尚未在电商推荐系统中广泛应用，但可借鉴其思想：若需融合多个微调的单任务模型来服务多任务推荐，可尝试只保留任务更新在本质子空间中的成分以降低冲突。
- ESM++ 的低秩专家分解和原型路由思想可参考用于推荐模型的多任务动态参数选择，减少参数冗余。
- 训练无关的静态合并方法可作为快速集成多任务能力的基础工具，例如在试验阶段快速组合多个广告预估模型。
EEVEE：面向现实世界多数据流测试时提示学习的自改进智能体
🧭 多任务测试时提示学习与自改进智能体 ★ 深度解读
Shanghai Jiao Tong University · Princeton University
通过路由器和提示协同进化，在异构多任务流中实现稳定的测试时提示学习，缓解跨任务干扰
📌 工作参考价值（4 点）
- 多场景路由提示适配：可借鉴 router 条件下的多 prompt 集成分思路，为电商推荐中不同业务线（如搜索推荐、直播文案、商品描述）自动分配专用 prompt，避免统一 prompt 在任务间相互干扰。
- 路由与提示协同更新策略：在 Multi-Agent 系统中，可将路由器视为任务分配 Agent，提示视为执行 Agent，借鉴交替进化的训练流程（初始化→交替探索→收敛）来最小化耦合风险，实现自改进的协作模式。
- Pareto 前沿多样性提示初始化：使用贪婪覆盖选择互补 prompt，可应用于生成式推荐中构建多风格文案生成器或 Semantic ID 多样性集合，确保不同 prompt 覆盖不同的用户意图。
- 过程性任务优先优化：实验表明测试时提示学习对可转化为可复用规则的代码生成、公式计算等提升显著，但对领域知识密集型任务可能削弱知识利用。在电商文案生成中，可优先用于格式约束强、可模板化的任务（如自动生成标题、卖点），减少对知识密集型描述的过度干预。
多任务模型合并的闭式谱正则化方法
🧭 模型合并 · 谱正则化 ★ 深度解读
Tsinghua University · Sun Yat-sen University · Nanyang Technological University
将模型合并视为带噪线性逆问题，用闭式谱滤波替代迭代优化，加速28-72倍且精度不减
📌 工作参考价值（4 点）
- 多任务模型合并的加速与显存优化：电商推荐系统中常需合并多个专用模型（如CTR、CVR、多目标专家），SWUDI/SWUDI-A 的闭式解可替代 WUDI 的数百步 Adam 迭代，将合并时间从数十分钟降至分钟级，显存占用减少 50%，适合线上快速迭代与多模型部署。
- 噪声抑制的谱截断策略：合并不同任务向量时，小特征值方向会放大代理噪声，硬截断（hard truncation）可以将其直接归零，防止合并时性能退化。这一思路可直接用于推荐场景中合并多个 LoRA 适配器或任务向量，提升多任务融合稳定性。
- 自适应层维秩选择：SWUDI-A 无需手动设置全局秩阈值，利用参与比率平方根规则或 Gavish-Donoho 阈值自动决定每层保留的特征值个数，适配不同架构（视觉/语言/多模态）。在推荐模型中，不同层对任务冲突的敏感度不同，自适应规则能减少调参成本，提高合并鲁棒性。
- 数据无关与测试时适配结合：闭式谱合并结果可与 AdaMerging 等测试时适应方法正交，作为 data-free 初始化进一步提升精度。在 agent 多智体系统中，可先融合专家模型再根据少量在线反馈微调，兼顾效率和效果。